Nat. Struct. Mol. Biol. 2026 | Runs N’ Poses: 蛋白-配体共折叠方法的泛化能力评估

今天介绍的是发表在 Nature Structural & Molecular Biology 上的一项研究工作。随着 AlphaFold3、Boltz-1、Chai-1 等全原子共折叠模型快速发展，蛋白-小分子复合物预测被认为有望重塑药物发现流程，但这些方法是否真正具备泛化能力仍缺乏系统评估。研究构建了名为 Runs N’ Poses 的高质量基准集，覆盖 2600 个训练截止日期之后发布的蛋白-配体复合物，对当前主流共折叠模型进行了统一测试。结果显示，模型性能与训练数据相似度高度相关，在面对未见过的新型配体构象时普遍存在明显退化，说明当前方法仍较依赖“记忆”训练样本，而非真正理解蛋白-配体相互作用规律。这项工作不仅揭示了当前 AI 药物建模的重要瓶颈，也为后续更具泛化能力的结构预测模型提供了关键评测框架与研究方向。

获取详情及资源:

0 摘要

深度学习推动了蛋白质结构预测领域的重大突破；然而，下一步关键进展之一是准确预测蛋白质如何与小分子配体相互作用，从而支持药物发现等现实应用。近期的共折叠方法旨在解决这一挑战，但由于缺乏相关基准数据集，其性能评估一直缺乏定论。提出了一个综合评估，基于新引入的基准数据集Runs N’ Poses，对四种领先的全原子共折叠方法进行评估。Runs N’ Poses包含2600个高分辨率蛋白质–配体系统，这些系统均在这些方法所用训练截止时间之后发布。结果表明，当前共折叠方法在很大程度上记忆了训练数据中的配体构象，从而限制了其用于从头药物设计。通过这一评估和基准数据集，旨在推动该领域进展，使当前最先进的深度学习方法在预测蛋白质–配体相互作用方面能够接受更符合现实的评估。

1 引言

准确预测并表征蛋白质–配体相互作用（PLI）是现代药物发现的核心基础之一，可用于识别能够高特异性调控蛋白功能的小分子。发现并优化这类调控分子，使其成为可行的先导化合物，是早期药物研发与先导优化中的关键环节。基于结构的药物设计作为计算机辅助药物设计的重要组成部分，依赖目标蛋白及蛋白质–配体界面的三维结构，为药物化学决策提供依据。因此，为了准确预测配体结合方式及其结合亲和力，必须深入理解支配蛋白质–配体相互作用的基本原理。多种计算技术的结合已经成为工业界与学术界药物发现工作中不可或缺的工具，有助于降低成本并缩短开发周期。然而，尽管计算方法已经取得显著进展，在原子分辨率水平准确建模蛋白质–配体结合仍然是一个重要挑战。

多年来，社区内已经开展了大量评估工作，用于衡量蛋白质配体结合构象预测领域的发展水平。近期，CASP15开展了蛋白质–配体复合物预测评估试点实验，其灵感来源于Teach Discover Treat、Continuous Evaluation of Ligand Prediction Performance、Drug Discovery Data Resource以及Community Structure–Activity Resource等早期工作，同时增加了额外复杂性，即预测任务不仅需要预测受体蛋白结构，还需要预测一个或多个配体的位置与构象。

CASP15及并行基准研究得出了三点结论。首先，联合蛋白质–配体预测任务需要同时考虑蛋白质与配体定位精度的评价指标，例如结合位点叠合均方根偏差（r.m.s.d.）以及蛋白质–配体相互作用局部距离差异测试（LDDT-PLI）。其次，相较于蛋白质结构预测，实验数据质量问题在蛋白质–配体相互作用预测中更加突出，这是因为该任务需要原子级可靠性，而许多Protein Data Bank（PDB）条目甚至无法满足较宽松的X射线质量标准，因此难以作为可靠真值。第三，PDB中新发布的许多含配体复合物与既有复合物高度相似，或与药物发现应用无关，或者同时存在这两种情况。

尽管CASP16通过向制药公司征集未公开的蛋白质–配体复合物，在一定程度上缓解了后一个问题，但由于目标数量有限，以及PDB中存在大量高度相似模板，因此仍难以专门针对适用于该任务的深度学习方法得出明确结论，而这些方法中的大多数也并未参与相关评测。

AlphaFold2等深度学习方法已经彻底改变了蛋白质结构预测领域，并进一步推动了RoseTTAFold All-Atom、AlphaFold3、Chai-1、Boltz-1、Boltz-2、Protenix以及NeuralPLexer3等全原子共折叠方法的发展。尽管这些方法展现出巨大潜力，但由于深度学习领域缺乏成熟的联合蛋白质–配体结合基准评测体系，因此其性能评估仍然十分困难。现有基准通常未能充分考虑训练数据与测试集之间的相似性，从而导致性能评估结果被高估。对于蛋白质–配体相互作用系统而言，这一问题尤为严重，因为实验结构数据稀缺且存在偏倚，不仅增加了模型记忆训练数据的风险，也降低了识别这种记忆行为的能力。

为解决这一问题，基于2600个高分辨率蛋白质–配体相互作用系统，对四种具有高度相似架构与训练范式的领先全原子共折叠深度学习方法（AlphaFold3、Chai-1、Protenix和Boltz-1）进行了系统基准测试。这些系统均在其训练截止日期（2021年9月30日）之后发布。研究分析了训练数据相似性对预测精度的影响，并揭示了一个关键局限性：当前共折叠方法难以泛化到训练数据中未出现过的配体构象。

同时，还比较了排名最高模型与评分最佳模型的性能，发现性能虽有轻微提升，但整体泛化能力受限的趋势并未改变。这种过拟合问题独立于模型置信度评分，表明当前仍需要更先进的模型架构与数据增强策略。值得注意的是，对于辅因子、氨基酸类似物以及核苷酸类似物，观察到了更好的泛化能力，这表明丰富训练数据的重要性。

同时提供了一个包含不同训练集相似度水平的基准数据集Runs N’ Poses，以及用于分析数据泄漏与模型性能关系的相关资源。通过这些工作，旨在推动蛋白质–配体复合物预测这一关键领域的发展，并帮助识别真正具有突破性的进展。

2 结果

2.1 共折叠方法在蛋白质–配体复合物空间中的泛化能力有限

基于包含2600个系统（覆盖3047个非离子、非伪影配体）的基准数据集，对四种深度学习共折叠方法的预测精度与目标复合物相对于训练集相似性之间的依赖关系进行了研究。分析结果表明，对于每种方法，其排名最高预测模型的精度与参考系统相对于训练集的相似性之间存在明显相关性。

图1｜预测准确性与训练集相似性的关系 a. 成功率定义为系统配体中 r.m.s.d. <2 Å 且 LDDTPLI >0.8 的比例，显示四种方法以及从四个最高排名模型中选择最佳评分模型时，各相似性分箱中所有共同子集系统配体的成功率。阴影区域对应 95% 置信区间，由每个分箱和方法的 1,000 个 bootstrap 样本计算得到。 b. 同 a，但成功率仅定义为 r.m.s.d. <2 Å。 c,d. 所有方法的 LDDT-PLI (c) 和 r.m.s.d. (d) 值分布以小提琴图显示，每种单独方法显示为彩色散点。 e. 同 a，并加入物理有效性检查。条纹柱显示每种方法中 r.m.s.d. <2 Å 且 LDDT-PLI >0.8 的预测占比，实心柱显示其中同时具有有效几何结构和能量的子集；即通过所有 PoseBusters 测试，因此为 “PB-valid”.

这里将训练集相似性定义为结合口袋覆盖度与配体构象Combined Overlap Score（SuCOS）的乘积。SuCOS用于衡量配体构象在体积重叠以及化学特征空间位置上的一致程度。因此，仅当训练系统在相似蛋白口袋中具有相似配体构象时，才认为其与测试系统相似。

此外，在传统分子对接基准研究中，成功通常仅依据配体r.m.s.d.（<2Å）进行定义，因为蛋白结构通常被视为刚性且默认正确。然而，对于共折叠方法而言，必须同时评估配体与蛋白结构的准确性。因此，将成功率定义为LDDT-PLI（>0.8）与配体构象r.m.s.d.（<2Å）的联合条件。

仅基于r.m.s.d.（<2Å）定义成功的结果进一步证实，所采用的成功率标准并不会影响观察到的泛化能力受限趋势。

同时观察到，各方法的LDDT-PLI与r.m.s.d.分布均持续与训练集相似性呈相关关系。

最后，进一步统计了通过PoseBusters（PB）物理合理性检测的预测比例。结果显示，PoseBusters有效性似乎与训练集相似性无关。在四种方法中，低训练集相似性系统与高训练集相似性系统的PB有效预测比例大致相同。在所有成功预测系统中，PB有效比例在0–50相似性区间为67.2±7.4，在50–100区间为72.2±6.5。

2.2 模型与数据选择仅带来有限性能提升

为了直接比较不同方法之间的性能，Fig.1聚焦于所有四种方法均成功预测的公共系统子集，并采用各方法默认设置进行评估，同时忽略由于数据处理与预测流程差异导致部分方法无法输出结果的情况。尽管四种方法的预测精度与训练集相似性之间均表现出相近的相关性，但AlphaFold3相较其他方法仍展现出轻微性能优势，即使这些方法共享相似的架构与训练范式。

这种优势可能来源于训练时间、数据集采样策略、验证集构建方式以及其他方法学选择上的差异。然而，由灰色曲线所表示的“四种方法中得分最佳的最高排名模型”结果表明，AlphaFold3并非在所有系统上都表现最佳。

Supplementary Fig.1a–d与Fig.1a–d对应，但其统计基于所有预测结果（忽略方法特异性失败），并额外展示了以下结果：（1）不使用模板运行的AlphaFold3（浅蓝色）；（2）Boltz-1x（粉色）；（3）RoseTTAFold All-Atom（紫色）。

带模板与不带模板的AlphaFold3之间并未表现出显著差异。这一结果符合预期，因为该方法并不会利用模板中的配体信息。RoseTTAFold All-Atom采用不同架构，并且仅输出1个模型而非25个，因此无法直接比较；不过，其默认设置下的性能明显低于其他方法。

有趣的是，Boltz-1x在成功率方面与Boltz-1v.0.4并无明显差异，但在PoseBusters物理合理性检测中表现出明显提升。

Supplementary Fig.1e进一步展示了所有共折叠方法在各项独立物理检查中的失败比例。其中问题最严重的是minimum_distance_to_protein检查。该检查要求蛋白质–配体原子对之间的距离大于对应范德华半径之和的0.75倍，在四种方法中共有23.4%的预测模型未通过该检查。

另一项高失败率检查是四面体手性检查。该检查要求输入分子指定的四面体手性与真实分子保持一致，在四种方法中共有16%的预测模型未通过。

未通过前者意味着蛋白质与配体原子之间存在物理上不合理的位置关系，会导致严重空间冲突；未通过后者则意味着预测分子的立体化学与输入化学描述不一致。这两种情况都会导致模型无法用于后续相互作用与结合分析。

然而，Boltz-1x在Supplementary Fig.1e中的结果表明，大多数失败案例均得到解决。Boltz-1x在基础Boltz-1模型之上引入了推理阶段扩散引导机制，并加入受物理启发的势函数，专门用于解决物理可靠性问题。原则上，这种引导策略可应用于任何基于扩散模型的共折叠方法，因此能够显著提升构象的物理合理性。

尽管如此，Supplementary Fig.1f显示，这种改进并未改变模型记忆训练数据的趋势。

在Runs N’ Poses建立之后，Boltz-2已经发布。该模型采用2023年6月1日作为训练截止日期，因此相比其他方法额外使用了两年的PDB数据。虽然这使其无法与前述方法直接比较，但仍然可以基于训练集相似性进行评估。

进一步比较了Boltz-2在2023年训练截止日期之后发布的Runs N’ Poses系统上的表现，并将其相对于截至该时间点PDB的相似性，与Boltz-1基于自身训练截止日期计算得到的相似性结果进行对比。

图2｜不同训练截止时间的基准测试 a. 成功率定义为系统配体中 r.m.s.d. <2 Å 且 LDDT-PLI >0.8 的比例，显示在 Boltz-2 训练截止时间之后发布的系统中，Boltz-1（红色）和 Boltz-2（绿色）在各相似性分箱中的预测结果。相似性分箱基于 Boltz-1 的 2021 年 9 月 30 日训练截止时间计算（计数标记为 n），以及 Boltz-2 的 2023 年 6 月 1 日训练截止时间计算（计数标记为 m）。阴影区域对应 95% 置信区间，由每个分箱和方法的 1,000 个 bootstrap 样本计算得到。 b. 不同训练截止时间的训练集相似性分布。标注了相似性 <50 的系统数量以及截止时间之后发布的系统总数。Q 表示季度.

Fig.2a显示，新增训练数据（超过25000个PDB条目）增加了高相似性区间中的案例数量，但似乎并未提升模型对未见数据的泛化能力。

Fig.2b展示了不同训练截止日期下Runs N’ Poses可用于测试的系统数量及其在不同相似性区间中的分布。尽管在2023年之后仍存在相当数量可用于基准测试的案例，但随着更多结构多样性被加入PDB，困难区间中的案例数量显著下降，从而降低了对模型记忆效应与泛化能力进行细粒度、可靠分析的能力。

2.3 配体与复合物出现频率的影响

进一步分层分析表明，对于拥有大量训练数据的配体，模型性能略有提升（Fig.3a）。这类配体包括辅因子及其类似物，因为它们广泛存在于不同蛋白家族中，因此也大量出现在PDB中的蛋白质–配体结构与结合口袋中。此外，还包括氨基酸类似物与核苷酸类似物，这可能受益于模型在蛋白质–蛋白质复合物以及蛋白质–核酸复合物上的训练。

图3｜常见配体与独特配体的预测准确性 a–c. 成功率定义为系统配体中 r.m.s.d. <2 Å 且 LDDT-PLI >0.8 的比例，显示四种方法在具有不同数量类似配体训练系统的系统配体中的结果 (a)，仅包含在各相似性分箱中具有 <100 个类似配体训练系统的系统配体 (b)，以及仅包含 b 中各相似性分箱的聚类代表 (c)。阴影区域对应 95% 置信区间，由每个分箱和方法的 1,000 个 bootstrap 样本计算得到.

为了将这些配体与更偏药物样的小分子区分开来，基于其在PDB中的出现频率进行分类，而不考虑具体蛋白或结合口袋。具体而言，对于测试集中的每个配体，统计训练数据中任意类似配体出现的次数。这里将RDKit拓扑指纹Tanimoto相似度大于0.9的配体定义为类似配体。

Supplementary Fig.2展示了出现次数超过100次的分子，这些分子随后被定义为高频配体（prevalent）。在分析中移除这些配体，仅保留独特配体后，可以观察到训练集相似性与成功率之间呈现更线性的关系（Fig.3b）。这一结果表明，在低相似性区间中的成功案例主要来源于这些高频配体。

这一分析说明，数据稀缺性是导致模型记忆行为的重要因素之一，因为药物样分子通常缺乏在不同蛋白结合口袋中的大量实验结构数据。

进一步验证表明，所观察到的趋势并非由某些蛋白家族过度代表所驱动，否则可能会导致结果偏倚。Fig.3c展示了仅针对不同配体系统聚类代表结构时，成功率与训练集相似性之间的相同趋势。聚类基于SuCOS–pocket相似度大于50的图社区聚类方法进行，共得到1017个聚类，其中公共子集包含789个聚类。

Supplementary Table1详细列出了前十大聚类的规模、聚类代表结构信息以及相似性区间覆盖情况。第一大聚类包含171个SARS-CoV-2主蛋白酶与不同小分子形成的晶体结构，这些结构来自SARS-CoV-2 moonshot系列及其他独立研究。第二大聚类则包含136个蛋白激酶与不同抑制剂形成的复合物。

因此，SuCOS–pocket聚类能够将“相似分子以相似三维构象结合于相似蛋白相同口袋”的蛋白质–配体复合物归为一类。例如，聚类4中的HCov-NL63主蛋白酶复合物，其结合模式与聚类1中的结构不同。

尽管Fig.3c表明模型记忆趋势与数据冗余无关，但这种同系化合物系列——即共享相同核心结构、仅在部分取代基上存在差异的配体——对于药物发现应用具有高度重要性，因此在这些系列中的预测精度仍然是关键目标。

同时还发现，这些方法在性能上并未偏向于较小或较大的配体（Supplementary Fig.3a,b）。虽然成功率与结合口袋大小之间存在轻微相关性（Supplementary Fig.3c），但在不同结合口袋尺寸范围内，泛化能力不足的趋势依然存在（Supplementary Fig.3d–h）。

此外，对数据集中的不同子集进行分析，例如仅包含单配体系统、多配体系统以及多蛋白系统时，均观察到相同模式。这进一步证明了Runs N’ Poses数据集在这些子任务基准评测中的有效性（Supplementary Fig.3i–k）。

2.4 用于检测数据泄漏的配体与蛋白相似性指标

为了分析蛋白、结合口袋以及配体层面的相似性对模型记忆趋势的影响程度，Fig.4a,b展示了蛋白序列一致性、口袋覆盖率、配体SuCOS以及配体指纹相似性（采用RDKit拓扑指纹与半径为1、2048位的Morgan指纹）在不同相似性区间中的变化情况。

图4｜与其他相似性和准确性指标的比较 a. 通过 SuCOS–pocket 相似性找到的最近训练系统中，蛋白质序列一致性和口袋覆盖率（均以百分比表示）的分布。虚线表示 AlphaFold3 验证中使用的蛋白质序列一致性阈值。 b. 通过 SuCOS–pocket 相似性找到的最近训练系统中，配体拓扑指纹 Tanimoto 相似性、配体 Morgan 指纹 Tanimoto 相似性（radius = 2, n bits = 2,048）以及配体 SuCOS 相似性的分布。虚线标记 AlphaFold3 验证中使用的配体 Morgan 指纹 Tanimoto 相似性阈值。 c. 与最近训练系统具有低序列一致性和高 SuCOS–pocket 相似性的复合物示例。 d. 与最近训练系统具有低 Morgan 指纹相似性和高 SuCOS–pocket 相似性的复合物示例。 e. 所有方法在各相似性分箱中恢复结合口袋残基的 F1-score 分布（灰色小提琴图）以及各单独方法的结果（彩色散点）。 f. 所有方法在各相似性分箱中的 LDDT-LP 值分布（灰色小提琴图）以及各单独方法的结果（彩色散点）。LDDT-LP >0.8 的系统比例。对于所有系统：AlphaFold3 为 92%；Protenix 为 91%；Chai-1 为 90%；Boltz-1 为 91%。对于聚类代表（灰色轮廓）：AlphaFold3 为 87%；Protenix 为 83%；Chai-1 为 82%；Boltz-1 为 83%。CCD 表示 Chemical Component Dictionary.

这些结果反映了每个测试系统与其最接近训练系统之间的关系，而最近邻训练系统则通过SuCOS–pocket相似性确定。

这里，SuCOS评分与口袋覆盖率之间的关系变得更加清晰，因为最低相似性区间（SuCOS–pocket相似性0–20）同时包含“SuCOS较高但口袋覆盖率较低”的案例，以及“SuCOS较低但口袋覆盖率较高”的案例。

相比之下，蛋白序列一致性与配体指纹相似性的变化范围更广，但随着SuCOS–pocket相似性增加，两者总体上也呈上升趋势。

结果表明，先前用于验证共折叠方法性能的相似性指标与阈值，并不足以检测蛋白质–配体相互作用预测任务中的数据泄漏问题。常用的40%序列一致性阈值会遗漏大量来自同一家族、共享相同折叠结构、结合口袋以及结合模式的蛋白案例；而85%的Morgan指纹相似性阈值（AlphaFold3验证时所采用）则会遗漏大量“配体以高度相似构象结合于高度相似蛋白与口袋”的案例。

Fig.4c,d进一步给出了相关示例。

有趣的是，从第三个相似性区间（SuCOS–pocket相似性30–40）开始，测试系统与其最接近训练系统之间，平均已经具有超过60%的蛋白序列一致性以及80%的口袋覆盖率。

Fig.4e进一步支持这一结论，其展示了不同相似性区间中结合口袋残基恢复的F1-score分布。尽管该指标与训练集相似性存在相关性，但正确识别结合口袋似乎并不是导致复合物预测不准确的主要限制因素。

因此，所观察到的趋势并非由于模型无法泛化到研究较少的蛋白或全新结合口袋，更可能来源于其他因素，例如难以泛化到“熟悉口袋中的未见配体构象”。

为了展示结合口袋构象预测效果，Fig.4f展示了不同相似性区间中配体结合口袋局部距离差异测试（LDDT-LP）的分布，即结合口袋残基相对位置的预测精度。

尽管不同区间之间存在一定上升趋势，但大多数预测结果的LDDT-LP值均大于0.8，表明蛋白结构整体建模质量较高。

然而，这些结果并不能保证预测得到的蛋白模型适用于后续分子对接任务，因为已有研究表明，即使LDDT-LP大于0.9，也无法检测那些会导致刚性对接失败的原子级构象变化。

Fig.5进一步展示了不同相似性区间中的成功与失败预测案例，同时给出了真实复合物结构以及基于SuCOS–pocket相似性找到的最接近训练系统。

图5｜不同相似性分箱中的错误与正确预测示例 a–h. AlphaFold3 的预测模型（中间）与真实实验结构（左）以及通过 SuCOS–pocket 相似性找到的最近训练系统（右）进行比较。标注了真实结构的 PDB ID 和 CCD 编码、预测结果的 r.m.s.d.、LDDT-PLI 和 LDDT-LP，以及最近训练系统的 PDB ID、SuCOS 分数、口袋覆盖率（百分比）和 SuCOS–pocket 相似性分数。展示了相似性分箱 0–20 (a,b)、30–40 (c,d)、40–60 (e,f) 和 80–90 (g,h) 中的错误预测（红色，a,c,e,g）与正确预测（绿色，b,d,f,h）.

随着训练系统相似性增加，可以观察到目标配体与最近训练系统中的配体在分子形状以及共有取代基方面逐渐表现出更高重叠度。

然而，在某些情况下，模型在推理过程中会忽略关键化学特征。Fig.5e给出了一个典型案例：尽管输入SMILES（Simplified Molecular Input Line Entry System）中已经明确定义了结构信息，所有方法仍然将5-chlorobenzofuran-3-aminomethyl基团预测为错误手性构型。这种错误可能来源于模型模仿了最近训练系统中的5-chloro-2-methoxyphenyl基团。

对于蛋白结构而言，整体上在所有相似性区间中均能够实现较准确预测，包括结合口袋结构也能较好恢复。

但这种情况并非始终成立。Fig.5c展示了一个蛋白结构也被错误预测的案例：真实结构为一种处于非活化DFG-out构象的蛋白激酶，而预测结构则错误地采用了DFG-in构象。

尽管Fig.5为当前方法在何种情况下更可能获得成功提供了有价值的直观信息，但同时也清晰揭示了这些方法的内在局限性，即难以对训练数据之外的药物样分子生成准确预测。

2.5 配体构象采样与排序仍存在较大提升空间

为了区分“构象预测能力”与“构象排序能力”之间的影响，对四种方法在每个系统上生成的全部25个模型（5个随机种子、5个扩散采样）进行了分析。

图6｜系统内及系统间的置信度指标 a–d. 各相似性分箱中的成功率，包括随机选择的模型（绿色方块，25 个模型中随机选择）、最佳评分模型（蓝色菱形，25 个模型中 LDDT-PLI 最高）、最差评分模型（红色叉号，25 个模型中 LDDT-PLI 最低）、最高排名模型（黑色圆点，具有最高 ranking_score）、单一种子中的最高排名模型（灰色五边形，误差线表示 5 个种子之间的标准差）、单一种子中随机选择的模型（紫色三角形）以及单一种子中的最佳评分模型（黄色菱形）。a. AlphaFold3。 b. Protenix。 c. Chai-1。 d. Boltz-1。 e. 四种方法基于配体–蛋白链对 iPTM 的成功分类准确率。对于每个相似性分箱和每种方法，共采样 250 个正样本系统和 250 个负样本系统，并以阴影区域显示 1,000 次 bootstrap 估计结果。 f. 同 e，但仅对 Chai-1 和 Boltz-1 使用 proteinligand 链对 iPTM.

Fig.6a–d展示了每种方法在不同SuCOS–pocket相似性区间中的成功率，包括：最佳评分模型（与真实结构最接近）、最差评分模型（与真实结构最远）、从25个模型中随机选取的模型，以及基于各方法排序分数所选出的最高排名模型。

同时，还分析了最高排名模型、最佳评分模型以及随机模型在五个随机种子之间的分布，以评估使用多个随机种子的影响。

结果表明，尽管最高排名模型优于最差评分模型（黑线相对于红线），但与最佳可能模型（蓝线）之间仍存在明显差距，而且其表现通常并未显著优于随机选择（绿色）。

此外，当前阶段在推理时使用多个随机种子并未对任何方法带来明显收益。虽然使用5个随机种子能够采样到更准确的配体构象（蓝线相对于黄色），但排序模型在使用1个或5个随机种子时，所选出的模型几乎相同（黑线与灰线、紫线基本重叠）。

不过，正确构象的采样能力仍然是提升预测精度的主要瓶颈，因为即使采用最佳评分构象，成功率曲线依然未出现平台化趋势。

同时，还进一步研究了配体–蛋白链对iPTM（interface predicted template modelling）评分在区分不同系统中准确与不准确构象方面的可用性。

这里将该分数定义为：目标配体链与所有蛋白链之间chain-pair iPTM分数的平均值。

对于每种方法，分别基于所有预测系统的ROC曲线确定最佳阈值，即在灵敏度与特异性之间达到最佳平衡的操作点。其中：

因此，所选iPTM阈值能够在准确识别正负样本之间取得最佳折中。

不同方法对应的最佳阈值存在明显差异：

这一结果表明，先前建立的TM-score阈值并不能直接用于模型筛选，而且不同方法之间的置信度分数也无法直接比较。

Fig.6e展示了基于各方法对应iPTM阈值，将预测模型分类为正样本或负样本时，在不同相似性区间中的分类准确率。

为了消除不同相似性区间中的类别不平衡问题，每个区间均选取了相同数量的正负样本（各250个）。

总体来看，基于iPTM的分类准确率似乎并不与训练集相似性相关。

在四种方法中，Boltz-1在预测分类方面明显优于其他方法，其准确率在不同相似性区间中达到70–90%；而其他方法则均低于75%。

相比其他方法，Boltz-1对其置信度模型进行了多项架构与训练策略改进，这一点也明显反映在其更强的基于iPTM的排序能力上。

此外，四种方法之间还存在一个额外差异，即Boltz-1与Chai-1的chain-pair iPTM矩阵具有非对称性：蛋白–配体chain-pair iPTM与配体–蛋白chain-pair iPTM的取值不同。

而AlphaFold3与Protenix由于对蛋白链与配体链进行了平均处理，因此其矩阵是对称的。

进一步分析发现，蛋白–配体chain-pair iPTM的排序能力低于配体–蛋白chain-pair iPTM（Fig.6f）。

2.6 迈向现实物理基线

基于上述分析，一个显而易见的问题是：基于物理的刚性配体对接方法在Runs N’ Poses上的表现如何。不幸的是，将刚性对接与共折叠进行比较并不直接，原因有多方面。

首先，对接需要输入蛋白结构，而共折叠则从蛋白序列出发。其次，输入蛋白构象必须非常接近真实的配体结合态蛋白构象，即使轻微的侧链偏差也常常会导致性能显著下降。第三，对接会显著受益于结合口袋定义，即预先指定口袋中心以及描述配体应适配区域的大致盒子大小。如果缺乏这些信息，即盲对接，预期性能会很差。最后，对接中的打分环节，即对预测构象进行排序并选出一个最高排名构象，已知并不可靠。因此，典型对接基准通常采用n个构象中的最佳结果，以区分构象预测与打分的影响。

在考虑所有这些限制的基础上，设计了五种服务于不同目的的基线（Table1）。

表1｜五种非共折叠基线方法及其对应的输入、方法、假设与目标

所有五种方法均额外假设存在一个优秀的构象选择器，可从 25 个预测构象中筛选出最佳结果。最近训练系统定义为与真实系统具有最高 SuCOS–pocket 相似性的系统。AF3 表示 AlphaFold3；GT 表示真实结构；HM 表示同源模型.

Fig.7展示了这些基线与AlphaFold3（25个模型中的最佳结果）的比较，分析对象为Runs N’ Poses中的一个子集，该子集仅包含单蛋白、单配体且配体互不重复的系统。

图7｜AlphaFold3 与对接及模板基线方法的预测准确性与训练集相似性的关系 a,b. 成功率定义为系统配体中 r.m.s.d. <2 Å 且 LDDT-PLI >0.8 (a) 或仅 r.m.s.d. <2 Å (b) 的比例，显示 AlphaFold3 与表1所述方法在各相似性分箱中所有共同子集系统配体的结果。阴影区域对应 95% 置信区间，由每个分箱和方法的 1,000 个 bootstrap 样本计算得到.

Table3显示，相比AlphaFold3，对接方法通常更容易无法生成输出，其失败率更接近Boltz-1。HM-Transplant和HM-dock-ideal在低相似性区间中存在更多缺失系统，这是由于这些区间缺乏高质量同源模型。AF3-dock-ideal在低相似性区间中的缺失系统多于AF3-dock，可能是因为前者指定的口袋并未准备好结合配体。

表3｜对接基线方法建模系统数量

第一列列出了每种方法建模的系统数量，其余各列列出了在 SuCOS–pocket 相似性分箱 0–40、40–70 和 70–100 中缺失系统所占比例（基于最后一行中的总数）.

为了在低相似性区间中获得足够统计效力以解释结果，仅展示AlphaFold3与Redocking之间727个公共系统子集上的结果，并将其他基线中缺失系统设为0LDDT-PLI和100År.m.s.d.。

Redocking结果表明，当受体蛋白构象与结合口袋已知时，数据集中的蛋白质–配体复合物在基于物理的打分函数下表现大致相当。因此，从物理角度看，低相似性区间中的案例并没有特别困难。

然而，redocking是一种不现实的理想化场景，因为在没有真实复合物结构的情况下，无法获得配体结合态的受体蛋白构象。

更接近现实的AF3-dock场景则使用AlphaFold3共折叠得到的受体结构（25个模型中的最佳结果），并将配体对接到AlphaFold3共折叠配体所在的同一口袋中。这里再次观察到性能对训练集相似性的依赖，同时在高相似性区间中，单独使用AlphaFold3的性能仍无法被达到。

需要注意的是，该流程使用刚性对接，因此说明在低相似性区间中，AlphaFold3预测的口袋构象和/或位置并不适合用于配体对接。

同时还展示了AF3-dock-ideal，其使用真实口袋位置。结果表明，口袋预测确实是对接中的相关且重要因素；在AlphaFold3预测口袋位置错误的案例中，使用真实口袋能够改善结果（绿色相对于青绿色）。然而，主要瓶颈仍然是蛋白与口袋构象。

进一步发现，使用AlphaFold3得分最高或排名最佳的受体结构并不会带来可识别差异，这证实了AF3-dock（绿色）与AF3-dock-ideal（青绿色）之间的性能差异主要由口袋位置造成。

两个基于同源建模的基线进一步强调了模型记忆现象的存在：基于SuCOS–pocket相似性从最近训练系统构建的同源模型（HM-dock-ideal）作为对接输入时，其表现与AF3-dock-ideal相近，表明主要瓶颈在于模板选择步骤。

最值得注意的是，使用模板配体约束构象并移植配体的极简方法（HM-transplant）在高相似性区间中的表现相当接近AlphaFold3，在低相似性区间中的表现则与对接基线相似；当仅使用r.m.s.d.<2Å定义成功率时，这一点尤其明显（Fig.7b）。

CASP16中也观察到了类似现象：共识模板对接方法在部分系统上常常能够达到AlphaFold3性能，有时甚至通过整合多个模板信息进一步提升结果。

当纳入LDDT-PLI阈值（Fig.7a）时，对接与模板移植基线在高相似性区间中的成功率下降，这是因为为避免非理想口袋中的空间冲突而进行的局部优化，会导致蛋白质–配体距离无法通过严格的LDDT-PLI>0.8阈值。

需要指出的是，PLI指纹恢复等特定指标可用于获得更细粒度的结果，但这些指标通常需要对复合物进行精细准备，而这种准备流程难以在此类混合方法中自动化完成。

在所评估的五种基线中，只有AF3-dock真正可用于现实场景，尽管仍然需要良好的构象选择器；其他基线均对蛋白与口袋预测存在较强假设。

因此，这一分析并不旨在对共折叠与对接进行直接头对头比较，因为太多中间变量会影响对接性能，而构建一个能够处理所有这些变量的理想工作流程超出了该工作的范围。

例如，允许蛋白侧链运动的柔性方法用于诱导契合对接，可能也会改善低相似性区间中的性能，但这通常需要谨慎选择柔性残基并进行构象排序，因此难以自动化。

总体而言，经验丰富的计算化学研究人员如果逐案仔细处理受体准备、柔性残基设置、口袋预测与构象选择，可能能够在各个相似性区间中达到更接近redocking水平的性能。近期也有机器学习方法正在针对这一问题发展，并展现出有前景的结果，包括在该数据集低相似性区间中的表现。

3 讨论

总体而言，该基准测试表明，当前一代深度学习共折叠方法距离准确建模未见蛋白质–配体复合物仍有较大差距。结果显示，无论采用何种成功判定指标，或分析何种数据子集，当前方法的性能都与其训练数据相似性高度相关。

分析结果表明，构象采样与构象排序两方面共同导致了这些方法的局限性。在预测不准确的情况下，正确构象要么根本未被采样到，要么虽然被采样到，但在排序阶段未能被正确选出。这进一步说明，采样与排序能力均仍需显著改进。

对于那些在多个训练系统、不同结合口袋中广泛出现的高频配体，其预测性能相对较好，这说明数据稀缺性仍然是这些方法面临的重要挑战。考虑到化学空间的巨大规模，目前距离能够支持深度学习模型有效泛化的最优数据规模仍然相差甚远。

交叉对接、直接利用电子密度数据，或单独使用小分子数据等数据增强策略，可能有助于提升训练数据在化学空间以及不同口袋–配体组合中的多样性与覆盖度。

此外，大量实验解析得到的蛋白质–配体复合物、可用于交叉对接的结合实验以及负结合数据，仍保存在制药公司与闭源环境中。若能够通过类似MELLODDY项目中的分布式隐私保护联邦学习基础设施，或通过OpenBind consortium计划中的大规模定向实验结构解析，将这些工业数据用于训练，则有望显著缓解数据稀缺问题。

即使数据集多样性得到提升，目前仍不清楚是否已经发展出适合该任务的最佳架构，也不清楚当前方法是否能够充分利用这些数据改进。例如，尽管Boltz-2相比Boltz-1使用了更多训练数据，其泛化能力却并未表现出明显提升。

从蛋白质结构预测任务的经验来看，AlphaFold2利用数十亿蛋白序列中的共进化信号学习近似能量景观，从而真正实现了对困难蛋白的泛化预测，包括那些在PDB中缺乏同源结构的蛋白，但对于缺乏共进化信息的孤儿蛋白，其性能仍然较差。

目前的全原子共折叠方法并未利用任何类似的外部非结构数据来编码与表示配体相互作用。为了更准确地建模蛋白质–配体相互作用，可能需要引入更多基于物理的项，例如来自分子模拟、构象集合或其他来源的信息，从而获得更具突破性的结果。

这些结果也与近期利用对抗样本揭示蛋白质–配体预测偏离预期物理行为的研究结果一致。这进一步强调，需要整合更加稳健的物理与化学先验，以增强方法泛化能力，而这一点也得到了对接基线与其他研究工作的支持。

总体来看，只有同时提高数据集多样性并发展更加适合的模型架构，才能真正推动该领域进步。

研究结果进一步强调了针对深度学习蛋白质–配体相互作用预测所设计的专用基准数据集与评估技术的重要性。分析发现，大多数已公开的高质量复合物与训练集高度相似（Fig.1中75%的系统配体具有超过50的SuCOS–pocket相似性），说明那些由新型分子或新型结合口袋构成、对药物发现与设计尤为关键的困难测试系统，在现有数据中普遍代表不足，而传统时间切分方法无法识别这一问题。

事实上，在广泛使用的PoseBusters基准数据集中，87%的复合物与训练集具有超过50的SuCOS–pocket相似性，这解释了这些方法在该数据集上通常能够获得较高性能分数的原因。

虽然很容易得出“只要PDB中存在类似复合物，共折叠方法通常值得信赖”的结论，但失败案例表明，即使在这种情况下也必须保持谨慎，因为配体化学结构中的微小变化就可能导致结合构象改变，而共折叠方法往往无法捕捉这些变化，反而会高置信度地返回训练中见过的结果。

近期并行研究中也观察到了类似现象：即使结合口袋中的突变本应破坏配体结合，模型仍然忽略了这一变化。

同时还发现，将基于物理的对接方法用于配体定位时也需要谨慎，因为结果高度依赖于所使用蛋白与结合口袋构象的准确性。

在四种基准测试方法中，仅Protenix的开发者明确将“记忆化伪影”列为预期局限性，这进一步说明，如果缺乏同时结合性能评估与数据泄漏检测的大规模基准测试，很难识别此类偏差。

自首次发布以来，Runs N’ Poses数据集与相似性指标已经被用于近期多项基准测试工作，例如CAMEO与PoseBench，也被方法开发者用于分析模型偏差，例如DragonFold、OpenFold3与PEARL。

结果进一步证明，诸如40%序列一致性等常用相似性阈值并不足以评估方法泛化能力。

尽管SuCOS相似性在该研究中最为有效，因为其同时结合了小分子的体积与化学特征，但未来仍值得进一步区分这两个因素，以分析这些方法究竟更依赖简单的体积重叠，还是更依赖真实化学相似性。

此外，在某些情况下，训练集中可能存在多个包含相同蛋白与相同配体、但配体构象不同的系统。此时，一个值得研究的问题是：这些方法究竟会输出某一种已有构象，还是会将不同构象中的子结构进行组合。

通过公开全部预测文件以及与整个训练集之间的相似性评分，希望能够支持此类分析，并推动对方法性能进行更细粒度的解释。

结果还显示，生成构象的物理合理性有时并不理想，这同样限制了其在真实药物发现流程中的应用。

值得注意的是，Boltz-1x中实现的扩散引导策略已经在很大程度上解决了这些问题，并且能够较容易地迁移到其他采用类似架构的共折叠方法中。

然而，这并未改变模型泛化能力受限的整体趋势，因此仍需要在模型架构与训练策略层面进行系统性改进，以解决记忆化问题。

同时指出，只要新方法的结构训练截止日期不晚于2021年9月30日，就可以完整应用Runs N’ Poses基准；即使对于更晚的训练截止日期，数据集中仍然保留了足够数量的系统用于评估。

由于该数据集采用自动化方式构建，可能仍存在少量不符合生物学相关性的复合物。预计随着进一步检查与持续使用，这些案例将逐渐被发现。但由于该研究已经证明相关趋势在不同分层分析中均具有稳健性，因此这些问题预计不会改变整体结论。

随着研究逐步迈向更复杂、多维度的任务，深度学习方法的基准测试未来需要采用新的泄漏检测与难度评估指标，无论是针对蛋白质–蛋白质、蛋白质–配体还是含核酸复合物任务。

对于数据更加稀缺的任务，例如涉及共价键与修饰残基的系统，这一点尤为关键。

在这一背景下，期待社区共同探索如何更好地支持该领域创新，推动更高精度方法的发展，并建立更加公平合理的能力评估体系。